課程大綱

課程資訊

課程名稱

類神經網路
Neural Networks

開課學期

106-1

授課對象

學程神經生物與認知科學學程

授課教師

劉長遠

課號

CSIE5052

課程識別碼

922 U1180

班次

學分

3.0

全/半年

半年

必/選修

選修

上課時間

星期三7,8,9(14:20~17:20)

上課地點

資310

備註

限學士班三年級以上
總人數上限：32人

Ceiba 課程網頁

http://ceiba.ntu.edu.tw/1061CSIE5052_

課程簡介影片

核心能力關聯

核心能力與課程規劃關聯圖

課程大綱

為確保您我的權利,請尊重智慧財產權及不得非法影印

課程概述

Neural Networks
Syllabus:
• Foundation
• Perceptron
• Multi-Layer Perceptron (MLP)
• Hopfield model
• Elman Network
• Self-Organizing Map (SOM)
• Reinforcement learning (RL)
Textbook:
• Lecture notes on Neural Networks, Cheng-Yuan Liou

Class Websites:
http://red.csie.ntu.edu.tw/NN/
http://www.csie.ntu.edu.tw/~cyliou/red/
兩個網站有同樣資料

課程目標

Auto classification, recognition, learning

課程要求

Basic Calculus

預期每週課後學習時數

Office Hours

備註： Office hour Monday 2:20PM ~ 5:10PM 要預約

指定閱讀

class websites

Office hour Monday 2:20PM ~ 5:10PM 要預約

參考書目

http://red.csie.ntu.edu.tw/NN/
and
http://www.csie.ntu.edu.tw/~cyliou/red/
兩個網站有同樣資料

評量方式
(僅供參考)

No.	項目	百分比	說明
1.	作業 + 一次測驗 + 出席	100%

課程進度

週次	日期	單元主題
第1週	9/13	310 教室上課。 Chapter 1 + Chapter 2 請想要修課的同學到場簽名，若無法到場請與老師和助教聯絡。
第2週	9/20	Chapter 4 MLP + NetTalk
第3週	9/27	Chapter 4 + MLP
第5週	10/11	Chapter 5 MLP kernel + tiling algorithm + chapter 3 http://red.csie.ntu.edu.tw/NN/Classinfo/SIR.pdf https://link.springer.com/chapter/10.1007%2F978-3-642-03040-6_46 http://red.csie.ntu.edu.tw/publications/ICONIP2008/ICONIP2008_87_ppt.pdf tiling algorithm http://red.csie.ntu.edu.tw/NN/Demo/demo.html Chapter 3 http://red.csie.ntu.edu.tw/publications/2016/A%20Parallel%20Bi%2Dperceptron%20Approach%20and%20its%20Application%20to%20Data%20Classification.pdf
第6週	10/18	Elman network + Chapter 5 http://www.sciencedirect.com/science/article/pii/S0925231214003658?via=ihub Chapter 5 http://red.csie.ntu.edu.tw/publications/2017/Loading%20Discriminative%20Feature%20Representations%20in%20Hidden%20Layer.pdf
第7週	10/25	reinforcement learning http://red.csie.ntu.edu.tw/NN/Demo/q_learning/q-learning%20demo.htm download the word file http://red.csie.ntu.edu.tw/NN/Demo/q_learning/Q-learning_readme.doc http://red.csie.ntu.edu.tw/NN/Demo/demo.html
第8週	11/01	RL references in Neuronlike adaptive elements that can solve difficult learning control problems by Sutton 1983 http://ieeexplore.ieee.org/abstract/document/6313077/ MIT 6.S191 Lecture 6: Deep Reinforcement Learning https://www.youtube.com/watch?v=xWe58WGWmlk&t=1139s Chapter 5 Elman network + Chapter 5 http://www.sciencedirect.com/science/article/pii/S0925231214003658?via=ihub Chapter 5 http://red.csie.ntu.edu.tw/publications/2017/Loading%20Discriminative%20Feature%20Representations%20in%20Hidden%20Layer.pdf
第9週	11/08	Hpofield model https://en.wikipedia.org/wiki/Hopfield_network An introduction to computing with neural nets, by Lippmann http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=1165576 Chapter 6 Boltzmann machine
第11週	11/22	Boltzmann machine http://www.google.com.tw/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0ahUKEwicvtrEicrXAhWDwbwKHQC5B6EQFgguMAA&url=http%3A%2F%2Fciteseerx.ist.psu.edu%2Fviewdoc%2Fdownload%3Fdoi%3D10.1.1.90.7282%26rep%3Drep1%26type%3Dpdf&usg=AOvVaw2kZ2wZ9OIZL-4aGUOMele4 Reduced Boltzmann machine https://en.wikipedia.org/wiki/Restricted_Boltzmann_machine
第12週	11/29	Chapter 5 http://red.csie.ntu.edu.tw/publications/2017/Loading%20Discriminative%20Feature%20Representations%20in%20Hidden%20Layer.pdf also, in C.43 http://red.csie.ntu.edu.tw/Publications.htm Chapter 6 Hopfield model https://link.springer.com/chapter/10.1007%2F11840817_72 ppt+code in B.2 http://red.csie.ntu.edu.tw/Publications.htm
第13週	12/06	self-organizing map paper by Kohonen http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=28
第14週	12/13	Chapter 5 SIR-SOM paper : https://link.springer.com/content/pdf/10.1007%2F978-3-642-03040-6_1.pdf tutorial : http://red.csie.ntu.edu.tw/publications/ICONIP2008/ICONIP2008_86_ppt.pdf conformal SOM J14+J16+J17+J18+J25+B4
第15週	12/20	SOM pattern recognition STD method paper J.10 in http://red.csie.ntu.edu.tw/Publications.htm http://red.csie.ntu.edu.tw/hcr_std/usage.html Feature-to-feature adhesion method paper in J.13 http://red.csie.ntu.edu.tw/Publications.htm
第16週	12/27	SOM Self-organization using Potts models http://www.sciencedirect.com/science/article/pii/0893608095001115 NN video
第17週	1/03	心得測驗所有作業 project 今天下午截止